A Stationary (and Therefore Compatible) Representation is All You Need
平稳即兼容:基于d-Simplex固定分类器的表示学习
🧭 模型更新时兼容表示学习
证明用d-Simplex固定分类器学到的平稳表示天然兼容旧模型,并结合对比损失捕获高阶依赖,无需重索引即可支持不间断检索。
📌 工作参考价值(4 点)
- 电商/推荐系统向量索引更新痛点:模型迭代时通常需要全量重嵌物品,成本极高。本文证明固定d-Simplex分类器可使新旧嵌入分布对齐,实现无需重索引的直接兼容,大幅降低工程开销。
- 训练技巧:采用固定原型(d-Simplex等角紧框架)作为分类器权重,结合交叉熵与对比损失的凸组合,既保持类别可分离性又强制旧模型兼容性,训练过程即满足兼容约束,可嵌入现有微调流程。
- 在Agent多智体中,若各Agent维护独立向量记忆库,模型替换时使用该方案可保证记忆库嵌入不失效,避免重新编码历史数据,保障服务连续性。
- 实验表明对比损失的加入能捕获高阶分布依赖,弥补纯交叉熵仅对齐一阶矩的不足,提示在类似表示对齐任务中可考虑矩差异损失与对比损失的协同。